优化在开发机器学习系统中起着昂贵且至关重要的作用。在学习的优化器中，常用手工设计的优化器的少数超参数，例如Adam或SGD用灵活的参数函数代替。然后对这些功能的参数进行优化，以便所得的学习优化器最大程度地减少所选模型类别的目标损失。学识渊博的优化者都可以减少所需的训练步骤的数量并改善最终测试损失。但是，它们的训练可能很昂贵，一旦训练，由于优化器本身的计算和内存开销，使用训练可能很昂贵。在这项工作中，我们确定并量化了许多学习和手工设计的优化器的内存，计算和性能权衡的设计功能。我们进一步利用我们的分析来构建比以前的工作更快，更有效的学习优化器。我们的模型和培训代码是开源的。

学习的优化器是可以训练解决优化问题的算法。与使用从理论原则派生的简单更新规则的基线优化器（例如势头或亚当）相比，学习的优化器使用灵活，高维，非线性参数化。虽然这可能导致某些设置中的更好性能，但他们的内部工作仍然是一个谜。学习优化器如何优于一个良好的调整基线？它是否学习了现有优化技术的复杂组合，或者是实现全新的行为吗？在这项工作中，我们通过仔细分析和可视化的学习优化器来解决这些问题。我们研究了从三个不同的任务中从头开始培训的优化器，并发现他们已经了解了可解释的机制，包括：势头，渐变剪辑，学习率计划以及新形式的学习率适应形式。此外，我们展示了学习优化器的动态如何实现这些行为。我们的结果帮助阐明了对学习优化器的工作原理的先前密切了解，并建立了解释未来学习优化器的工具。

A central problem in machine learning involves modeling complex data-sets using highly flexible families of probability distributions in which learning, sampling, inference, and evaluation are still analytically or computationally tractable. Here, we develop an approach that simultaneously achieves both flexibility and tractability. The essential idea, inspired by non-equilibrium statistical physics, is to systematically and slowly destroy structure in a data distribution through an iterative forward diffusion process. We then learn a reverse diffusion process that restores structure in data, yielding a highly flexible and tractable generative model of the data. This approach allows us to rapidly learn, sample from, and evaluate probabilities in deep generative models with thousands of layers or time steps, as well as to compute conditional and posterior probabilities under the learned model. We additionally release an open source reference implementation of the algorithm.1. extreme flexibility in model structure, 2. exact sampling,